Simplex-Constrained Sparse Bagging: Transitioning from Uniform Priors to Sparse Posteriors in Ensemble Learning
Simplex约束稀疏Bagging：集成学习从均匀先验到稀疏后验
🧭 集成学习压缩与概率校准
Georgia Institute of Technology
提出Simplex约束稀疏Bagging，通过凹二次惩罚在单纯形上实现集成剪枝与校准，压缩率达96%
📌 工作参考价值（4 点）
- 在推荐模型集成（如多模型融合）中，可直接使用SCSB对基模型权重进行稀疏化，仅保留最有价值的子集，显著降低线上推理延迟，特别适合实时推荐场景。
- 面向CTR预估等需要概率输出的任务，利用OOB损失优化权重能提升概率校准，降低期望校准误差，避免过自信预测，改善模型可信度和拍卖阶竞价效率。
- 方法模型无关，轻量级后处理，可快速集成到现有Bagging管道（如随机森林或Bagged NN）而不改动原始训练流程，方便在已有系统中试水。
- 避开L1在单纯形上失效的坑，通过凹二次惩罚产生真正稀疏解，验证了稀疏正则项与约束空间关系的工程陷阱，对设计其他概率约束稀疏化方案有参考价值。